home *** CD-ROM | disk | FTP | other *** search
/ HPAVC / HPAVC CD-ROM.iso / pc / NEUCLS3.ZIP / NURN.ZP / TERMC.HLP < prev    next >
Encoding:
Text File  |  1994-09-05  |  6.5 KB  |  128 lines
  1. classification - the process of making one of a fixed number of
  2.   possible decisions, given a fixed number of numerical inputs. 
  3.   The output of classification is an integer which indicates 
  4.   the class decision. A network for classifying images of 
  5.   handprinted numerals (0 through 9) would have 10 outputs 
  6.   (in uncoded format). A classifier for processing stock market 
  7.   data could make buy/sell decisions but would not predict
  8.   future prices.
  9.  
  10. clustering - see unsupervised learning
  11.  
  12. coded format outputs - in a classification network, coded output 
  13.   format means that the number of outputs is Nout = Log2 (Nc) where 
  14.   Nc is the number of classes. The Nc desired output vectors are 
  15.   then just Nout-bit binary numbers between 0 and Nc-1. 
  16.  
  17. error function - the function which is minimized during neural net
  18.   training or unsupervised learning. The specific error functions
  19.   minimized in this software package are given in the help files
  20.   for the algorithm in question.
  21.  
  22. functional link net - A functional link net is a network in which
  23.   (1) nonlinear functions of the inputs are formed to augment or
  24.   add to the input vector, and (2) the outputs are linear functions
  25.   of the augmented input vector. In the most common form of the
  26.   functional link net, the augmented inputs are multinomials 
  27.   formed from the original inputs. Since linear equations can 
  28.   be solved for the output weights, functional link net training 
  29.   is multidimensional polynomial regression. One problem with 
  30.   this type of network is that it suffers from combinatorial 
  31.   explosion. In other words, the number of possible multinomials 
  32.   grows explosively with the network degree.
  33.  
  34. k-means clustering - given Nc initial clusters, which could come from
  35.   sequential leader clustering, k-means iteratively (1) calculates a new
  36.   mean vector for each cluster (necessary if any input vectors have changed
  37.   clusters) and (2) reclassifies the input vectors to their nearest
  38.   cluster. The sum of the distances between the input vectors and the 
  39.   closest mean vectors is reduced. A distance measure, usually the 
  40.   Euclidean distance, is used. In adaptive k-means, the reclassification 
  41.   and mean calculation steps are performed during one pass through the 
  42.   data. 
  43.  
  44. layers - An MLP in this software package can have 2 to 4 layers, 
  45.   including the input and output layers. Therefore, a 3-layer network 
  46.   has one hidden layer and a 4-layer network has two hidden layers.
  47.  
  48. mapping - In mapping, you process numerical inputs into a real-valued 
  49.   (floating point) outputs. A mapper for processing stock market data 
  50.   could predict future prices, but would not make a buy/sell decision.
  51.  
  52. MSE threshold - one of the two stopping parameters. It is a threshold 
  53.   on the MSE used in training a functional link net or MLP. If the MSE 
  54.   falls below this threshold, training is stopped. To disable this 
  55.   parameter, use a negative value sufor it such as -1.
  56.  
  57. multilayer perceptron (MLP) - An MLP, sometimes called a backpropagation
  58.   neural network, is a feedforward (usually) network in which outputs
  59.   are algebraic, nonlinear functions of inputs. The MLP has at least
  60.   two layers of units or artificial neurons, the input and output layers. 
  61.   Additional layers, which make the network nonlinear, are called 
  62.   hidden layers.  
  63.  
  64. network structure file - a file that specifies the structure of 
  65.   a network. For the MLP, this file stores the number of network 
  66.   layers, units per layer, and connectivity between layers.
  67.   For a functional link net, this file specifies the network degree, 
  68.   numbers of inputs and outputs, and the dimension of the multinomial 
  69.   vector.
  70.  
  71. number of iterations - one of two stopping parameters used in 
  72.   functional link nets and MLPs. This is the maximum number of 
  73.   iterations that can be performed, and is user-chosen.
  74.  
  75. self-organizing map (SOM) - given Nc initial random clusters, the SOM
  76.   performs an adaptive k-means clustering, except that when a cluster mean
  77.   is updated, its nearest neighbors are also updated. There is a learning 
  78.   factor and a distance threshold which decrease as clustering progresses.
  79.  
  80. sequential leader (SL) clustering - In SL clustering we are given some
  81.   input vectors, a distance threshold, and one cluster which is the 
  82.   first input vector to be processed. As each subsequent input vector 
  83.   is processed, it is either (1) assigned to the cluster it is closest 
  84.   to, if the distance is below the threshold, or (2) used as the 
  85.   center vector of a new cluster.
  86.  
  87. standard form - All data files are in standard form, which means that
  88.   the file is formatted, and that each pattern or vector has inputs
  89.   on the left and desired outputs on the right. You can type 
  90.   out the files to examine them, and you can use these files with 
  91.   other neural net software. 
  92.  
  93. stopping parameters - parameters that specify how training 
  94.   will end. See number of iterations and MSE threshold.
  95.  
  96. testing data file - the same as a training data file except that 
  97.   (1) it is used to test the performance of a trained network and 
  98.   (2) it may or may not have desired outputs. 
  99.  
  100. training data file - a formatted file with Nv vectors or patterns.
  101.   Each vector includes N inputs and Nout desired outputs. In 
  102.   classification training data files, the correct class id, which
  103.   is an integer, is stored rather than the Nout desired outputs. 
  104.   See standard form.
  105.  
  106. training parameters - the learning factor (Z in this software 
  107.   package), and the momentum factor alpha.
  108.  
  109. uncoded format outputs - in a classification network, uncoded output 
  110.   format means that the number of outputs is Nout = Nc where 
  111.   Nc is the number of classes. The desired output can then be 1 for 
  112.   the correct class and 0 for the others, or 0 for the correct class 
  113.   and 1 for the others (inverted uncoded format). The Nc desired 
  114.   output vectors are then just Nc-bit binary numbers. In the 
  115.   classification network package Neucls.zip, inverted uncoded format 
  116.   and coded format are available.
  117.  
  118. units - artificial neurons used in the MLP network.
  119.  
  120. unsupervised learning - Unsupervised learning or clustering is the 
  121.   process of organizing a set of vectors into groups of similar 
  122.   vectors. In many clustering algorithms, each cluster is 
  123.   characterized using a mean or center vector.
  124.  
  125. weight file - an unformatted file which gives the gains or coefficients
  126.   along paths connecting the various units.
  127.  
  128.